摘要:视觉分类的新视角旨在从人类大脑活动中解码视觉对象的特征表示。从大脑皮层记录脑电图(EEG)已被视为了解图像分类任务的认知过程的常用方法。在本研究中,我们提出了一个由视觉诱发电位引导的深度学习框架,称为事件相关电位(ERP)-长短期记忆(LSTM)框架,由EEG信号提取用于视觉分类。具体而言,我们首先从多个EEG通道中提取ERP序列以响应与图像刺激相关的信息。然后,我们训练一个LSTM网络来学习视觉对象的特征表示空间以进行分类。在实验中,10名受试者从包含6个类别的图像数据集中记录了超过50,000次EEG试验,总共包括72个样例。我们的结果表明,我们提出的 ERP-LSTM 框架可以分别实现类别(6 类)和样本(72 类)的跨对象分类准确率 66.81% 和 27.08%。我们的结果优于使用现有的视觉分类框架,分类准确率提高了 12.62% - 53.99%。我们的研究结果表明,从 EEG 信号中解码视觉诱发电位是学习用于视觉分类的判别性大脑表征的有效策略。
主要关键词